Robot task planning by applying the principle of "reinforcement learning"

Proces učenja koji proizlazi kao odgovor na vizualnu spoznaju okoline polazna je odrednica brojnih istraživanja iz područja robotike te umjetne inteligencije. Proces planiranja djelovanja autonomnog robota nad neuređenim skupom objekata obrađen je u ovom radu koristeći principe pojačanog učenja. Korištene su Metode Privremenih Razlika uz primjenu linearnih baznih funkcija za aproksimaciju vrijednosne funkcije stanja zbog prevelikog broja diskretnih stanja u kojim se sustav može naći. Cilj je pronaći optimalan slijed akcija kojima agent (robot) premješta predmete dok ne postigne unaprijed definirano ciljno stanje. Algoritam je podijeljen u dva dijela. U prvom dijelu cilj je naučiti parametre kako bi mogli pravilno aproksimirati Q funkciju, dok se u drugom dijelu algoritma iskorištavaju dobiveni parametri za definiranje slijeda akcija koje se šalju UR robotu pomoću TCP protokola. Pojačano učenje pokazalo se prikladnim za navedeni problem te su rezultati prikazani na slikama (26) i (27). Pošto je u radu korišten dvodimenzionalni pristup problemu u vidu budućeg rada postoji mogućnost modificiranja algoritma za kreiranje 3D prostornih struktura.The learning process that arises in response to visual perception of the environment is the starting point for numerous research in the field of applied and cognitive robotics. In this research we propose a reinforcement learning based action planning for an autonomous robot in an unstructured environment. We have developed an algorithm based on temporary difference methods using linear basic functions for the approximation of the value state function because of the vast number of discrete states that the autonomous robot can encounter. The aim is to find the optimal sequence of actions that the agent (robot) needs to take in order to move objects in a 2D environment until they reach the predefined target state. The algorithm is divided into two parts. In the first part, the goal is to learn the parameters in order to properly approximate the Q function. In the second part of the algorithm the obtained parameters are used to define the sequence of actions sent to the UR robot using the TCP protocol. Our algorithm which is based on the SARSA algorithm from the reinforcement learning framework has given good results. The algorithm has been validated in an experimental laboratory scenario. In future work we plan to address a more complex of the assembly of 3D space structures